GermanWikipedia - /page/entry.mu

<!DOCTYPE html>

<title>Informationskriterium</title>

</head>

<h1 id="firstHeading" class="firstHeading mw-first-heading">Informationskriterium</h1>

</header>

</div>

<div id="mw-content-text" class="mw-body-content mw-content-ltr" lang="de" dir="ltr"><div class="mw-content-ltr mw-parser-output" lang="de" dir="ltr">In der <a href="Statistik" title="Statistik">Statistik</a> ist ein Informationskriterium ein <a href="Kriterium" title="Kriterium">Kriterium</a> zur Modellauswahl. Man folgt dabei der Idee von <a href="Ockhams_Rasiermesser" title="Ockhams Rasiermesser">Ockhams Rasiermesser</a>, dass ein Modell nicht unnötig komplex sein soll und balanciert die <a href="Anpassungsg%C3%BCte" title="Anpassungsgüte">Anpassungsgüte</a> des geschätzten Modells an die vorliegenden empirischen Daten (<a href="Stichprobe" title="Stichprobe">Stichprobe</a>) und dessen Komplexität, gemessen an der Anzahl der <a href="Regressionsparameter" title="Regressionsparameter">Parameter</a>, aus. Die Anzahl der Parameter wird dabei „strafend“ berücksichtigt, da sonst komplexe Modelle mit vielen Parametern bevorzugt würden. In diesem Sinne ist das <a href="Korrigiertes_Bestimmtheitsma%C3%9F" class="mw-redirect" title="Korrigiertes Bestimmtheitsmaß">korrigierte Bestimmtheitsmaß</a>, das auf <a href="Henri_Theil" title="Henri Theil">Henri Theil</a> (1970) zurückgeht, ein Vorläufer der heute bekannten Informationskriterien.

Allen heute verwendeten Informationskriterien ist gleich, dass sie in zwei verschiedenen Formulierungen vorliegen. Entweder ist das Maß für die Anpassungsgüte als die „<a href="Maximum-Likelihood-Methode" title="Maximum-Likelihood-Methode">maximale Plausibilität</a>“ oder als die „minimale <a href="Varianz_(Stochastik)" title="Varianz (Stochastik)">Varianz</a>“ der <a href="St%C3%B6rgr%C3%B6%C3%9Fe_und_Residuum" title="Störgröße und Residuum">Residuen</a> formuliert. Hieraus ergeben sich unterschiedliche Interpretationsmöglichkeiten. Beim Ersteren ist das Modell „am besten“, bei dem das jeweilige Informationskriterium den höchsten Wert hat (die „strafende“ Anzahl der Parameter muss dabei abgezogen werden). Beim Letzteren ist das Modell mit dem niedrigsten Wert des Informationskriteriums am besten (die Anzahl der Parameter muss „strafend“ addiert werden).

<div class="mw-heading mw-heading2"><h2 id="Akaike-Informationskriterium"> Akaike-Informationskriterium</h2></div>

Das historisch älteste Kriterium wurde im Jahr 1973 von <a href="Hirotsugu_Akaike" title="Hirotsugu Akaike">Hirotsugu Akaike</a> (1927–2009) als an information criterion vorgeschlagen und ist heute als Akaike-Informationskriterium<a href="#cite_note-1">[1]</a>, Informationskriterium nach Akaike, oder Akaike'sches Informationskriterium (<a href="Englische_Sprache" title="Englische Sprache">englisch</a> Akaike information criterion, kurz: AIC) bekannt. Das Akaike-Informationskriterium ist eines der am häufigsten verwendeten Kriterien für die Modellauswahl im Rahmen der Likelihood-basierten Inferenz.

In der <a href="Grundgesamtheit" title="Grundgesamtheit">Grundgesamtheit</a> liegt eine Verteilung einer Variablen mit unbekannter <a href="Dichtefunktion" title="Dichtefunktion">Dichtefunktion</a> <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle p}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/81eac1e205430d1f40810df36a0edffdc367af36.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; margin-left: -0.089ex; width:1.259ex; height:2.009ex;" alt="{\displaystyle p}" loading="lazy"> vor. Bei der <a href="Maximum-Likelihood-Methode" title="Maximum-Likelihood-Methode">Maximum-Likelihood-Schätzung</a> (ML-Schätzung) geht man von einer bekannten Verteilung mit einem unbekannten Parameter <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \theta }">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \theta }</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/6e5ab2664b422d53eb0c7df3b87e1360d75ad9af.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.09ex; height:2.176ex;" alt="{\displaystyle \theta }" loading="lazy"> aus; man nimmt also an, dass sich die Dichtefunktion als <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle q(\theta )}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle q(\theta )}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f9aab48bedce1a5f1ca74db4f8937032e1f43930.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:3.969ex; height:2.843ex;" alt="{\displaystyle q(\theta )}" loading="lazy"> schreiben lässt. Die <a href="Kullback-Leibler-Divergenz" title="Kullback-Leibler-Divergenz">Kullback-Leibler-Divergenz</a> wird als Entfernungsmaß zwischen <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle p}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/81eac1e205430d1f40810df36a0edffdc367af36.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; margin-left: -0.089ex; width:1.259ex; height:2.009ex;" alt="{\displaystyle p}" loading="lazy"> und <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle q({\hat {\theta }})}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle q({\hat {\theta }})}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/1c07675c65e53b95602f4ccfa278cbd76213ebb7.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.235ex; height:3.343ex;" alt="{\displaystyle q({\hat {\theta }})}" loading="lazy"> genutzt. Dabei ist <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\theta }}}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\theta }}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f0eaae56d74c5844e86caeed8ae205ff9e413bba.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.356ex; height:2.843ex;" alt="{\displaystyle {\hat {\theta }}}" loading="lazy"> der geschätzte Parameter aus der Maximum-Likelihood-Schätzung. Je besser das ML-Modell ist, desto kleiner ist die Kullback-Leibler-Divergenz <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle D(P\|Q)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle D(P\|Q)}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/2ea3dfe859af4aed411bb763bc399a652433edfc.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:8.48ex; height:2.843ex;" alt="{\displaystyle D(P\|Q)}" loading="lazy">.

Für den Fall eines regulären und linearen Modells konnte Akaike zeigen, dass die negative <a href="Log-Likelihood-Funktion" class="mw-redirect" title="Log-Likelihood-Funktion">log-Likelihood-Funktion</a> (auch logarithmische Plausibilitätsfunktion genannt) <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle -\ell ({\hat {\theta }})}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle -\ell ({\hat {\theta }})}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8bec0abc55aa1bccde2e0083e37691f876c721b7.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:5.943ex; height:3.343ex;" alt="{\displaystyle -\ell ({\hat {\theta }})}" loading="lazy"> ein verzerrter Schätzer für die Kullback-Leibler-Divergenz <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle D(P\|Q)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle D(P\|Q)}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/2ea3dfe859af4aed411bb763bc399a652433edfc.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:8.48ex; height:2.843ex;" alt="{\displaystyle D(P\|Q)}" loading="lazy"> ist und dass die Verzerrung asymptotisch (Stichprobenumfang strebt gegen unendlich) gegen die Zahl der zu schätzenden Parameter <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle p}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/81eac1e205430d1f40810df36a0edffdc367af36.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; margin-left: -0.089ex; width:1.259ex; height:2.009ex;" alt="{\displaystyle p}" loading="lazy"> konvergiert. Für ein Maximum-Likelihood-Modell mit einem p-dimensionalen Parametervektor <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\boldsymbol {\theta }}}_{ML}=({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dotsc ,{\hat {\theta }}_{p})^{\mathsf {T}}}">

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msup>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\boldsymbol {\theta }}}_{ML}=({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dotsc ,{\hat {\theta }}_{p})^{\mathsf {T}}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/11e8ff5a571bf05e0c60592483f980293cb4e426.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:24.242ex; height:3.509ex;" alt="{\displaystyle {\hat {\boldsymbol {\theta }}}_{ML}=({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dotsc ,{\hat {\theta }}_{p})^{\mathsf {T}}}" loading="lazy">, ist das Akaike-Informationskriterium definiert als<a href="#cite_note-2">[2]</a>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle AIC=-2\ell ({\hat {\boldsymbol {\theta }}}_{ML})+2p}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/91ffa8d7fd1e50aa26cc3491f8f8891eb0e623bc.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:23.237ex; height:3.343ex;" alt="{\displaystyle AIC=-2\ell ({\hat {\boldsymbol {\theta }}}_{ML})+2p}" loading="lazy">,</dd></dl>

wobei <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \ell }">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \ell }</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f066e981e530bacc07efc6a10fa82deee985929e.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:0.97ex; height:2.176ex;" alt="{\displaystyle \ell }" loading="lazy"> die log-Likelihood-Funktion darstellt. Das Kriterium ist negativ orientiert, d. h. bei einer Auswahl von möglichen Kandidaten für Modelle (Modellauswahl) für die Daten ist das bevorzugte Modell dasjenige mit dem minimalen AIC-Wert. Das AIC belohnt die <a href="Anpassungsg%C3%BCte" title="Anpassungsgüte">Anpassungsgüte</a> (beurteilt durch die <a href="Likelihood-Funktion" title="Likelihood-Funktion">Likelihood-Funktion</a>), aber es enthält auch einen Strafterm (auch Pönalisierungsterm oder Penalisierungsterm genannt) <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle 2p}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle 2p}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/ff0d3e38652941fc7a2844611f6c7fa8a23104a7.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.332ex; height:2.509ex;" alt="{\displaystyle 2p}" loading="lazy">, der hierbei zu hohe Modellkomplexität bestraft. Er ist eine zunehmende Funktion in Abhängigkeit der Anzahl der geschätzten Parameter <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle p}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/81eac1e205430d1f40810df36a0edffdc367af36.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; margin-left: -0.089ex; width:1.259ex; height:2.009ex;" alt="{\displaystyle p}" loading="lazy">. Der Strafterm verhindert <a href="%C3%9Cberanpassung" title="Überanpassung">Überanpassung</a>, denn die Erhöhung der Anzahl der Parameter im Modell verbessert fast immer die Anpassungsgüte.

Anstelle des AIC nach obiger Definition wird auch <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle AIC/n}">

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle AIC/n}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/ae9329789a8fdbd46d32abdda3a3719b38246859.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:7.238ex; height:2.843ex;" alt="{\displaystyle AIC/n}" loading="lazy"> verwendet, wobei <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle n}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy"> die <a href="Stichprobengr%C3%B6%C3%9Fe" class="mw-redirect" title="Stichprobengröße">Stichprobengröße</a> ist.<a href="#cite_note-3">[3]</a>

<div class="mw-heading mw-heading3"><h3 id="Allgemeine_Definition">Allgemeine Definition</h3></div>

Angenommen, es liegen <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle n}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy"> unabhängige Beobachtungen mit <a href="Erwartungswert" title="Erwartungswert">Erwartungswert</a> <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \operatorname {E} (y_{i})=\mu _{i}}">

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \operatorname {E} (y_{i})=\mu _{i}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/b99a8d86897a7015c1412808bd059d2f4c158e36.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:10.631ex; height:2.843ex;" alt="{\displaystyle \operatorname {E} (y_{i})=\mu _{i}}" loading="lazy"> und <a href="Varianz_(Stochastik)" title="Varianz (Stochastik)">Varianz</a> <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \operatorname {Var} (y_{i})=\sigma ^{2}}">

<msub>

</mrow>

</msub>

<msup>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \operatorname {Var} (y_{i})=\sigma ^{2}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/486c20ad0a60fd86433d2d43a8944fcb14f948fa.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:13.049ex; height:3.176ex;" alt="{\displaystyle \operatorname {Var} (y_{i})=\sigma ^{2}}" loading="lazy"> vor. Die Variablen <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle x_{0}=1,x_{1},x_{2},\ldots ,x_{k}}">

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle x_{0}=1,x_{1},x_{2},\ldots ,x_{k}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/ac3c4bb8945c781e723cad829a74543ece865250.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:21.077ex; height:2.509ex;" alt="{\displaystyle x_{0}=1,x_{1},x_{2},\ldots ,x_{k}}" loading="lazy"> sind verfügbar als potentielle Regressoren. Sei das <a href="Spezifikation_(Statistik)" title="Spezifikation (Statistik)">spezifizierte</a> Modell definiert durch die <a href="Teilmenge" title="Teilmenge">Teilmenge</a> <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle M\subset \{0,1,2,\ldots ,k\}}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle M\subset \{0,1,2,\ldots ,k\}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/cb56b952e2feb6f55b2943ca107493055f1f53b7.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:19.81ex; height:2.843ex;" alt="{\displaystyle M\subset \{0,1,2,\ldots ,k\}}" loading="lazy"> von miteinbezogenen erklärenden Variablen mit der dazugehörigen <a href="Versuchsplanmatrix" class="mw-redirect" title="Versuchsplanmatrix">Versuchsplanmatrix</a> <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \mathbf {X} _{M}}">

<msub>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \mathbf {X} _{M}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/461cbc91d3e8b7fb8966533eb4b65ae83eb5a979.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:3.979ex; height:2.509ex;" alt="{\displaystyle \mathbf {X} _{M}}" loading="lazy">. Für den Kleinste-Quadrate-Schätzer erhält man <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\boldsymbol {\beta }}}_{M}=(\mathbf {X} _{M}^{\mathsf {T}}\mathbf {X} _{M})^{-1}\mathbf {X} _{M}^{\mathsf {T}}\mathbf {y} }">

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

</mrow>

</mrow>

</mrow>

</msubsup>

<msub>

</mrow>

</mrow>

</msub>

<msup>

</mrow>

</msup>

</mrow>

</mrow>

</mrow>

</msubsup>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\boldsymbol {\beta }}}_{M}=(\mathbf {X} _{M}^{\mathsf {T}}\mathbf {X} _{M})^{-1}\mathbf {X} _{M}^{\mathsf {T}}\mathbf {y} }</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/99312e2a85e7cb401b3135385b4898d942c62951.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:24.117ex; height:3.343ex;" alt="{\displaystyle {\hat {\boldsymbol {\beta }}}_{M}=(\mathbf {X} _{M}^{\mathsf {T}}\mathbf {X} _{M})^{-1}\mathbf {X} _{M}^{\mathsf {T}}\mathbf {y} }" loading="lazy">.<a href="#cite_note-4">[4]</a>

Im Allgemeinen ist das Akaike-Informationskriterium definiert durch

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

<msub>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle AIC=-2\ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M})+2(\mid M\mid +1)}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/c22602f03041fa901bb5efff60dba933ee0f3d25.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:42.389ex; height:3.343ex;" alt="{\displaystyle AIC=-2\ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M})+2(\mid M\mid +1)}" loading="lazy">,</dd></dl>

wobei <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2})}">

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2})}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/2dd65950826ec3d53d84ebf922853251a0fe54b9.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:9.727ex; height:3.343ex;" alt="{\displaystyle \ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2})}" loading="lazy"> der Maximalwert der log-Likelihood-Funktion ist, d. h., die log-Likelihood-Funktion wenn die ML-Schätzer <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\boldsymbol {\beta }}}_{M}}">

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\boldsymbol {\beta }}}_{M}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/4a971f998a3c24fe71f8bbc616b49976f1c6ca85.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:3.53ex; height:3.343ex;" alt="{\displaystyle {\hat {\boldsymbol {\beta }}}_{M}}" loading="lazy"> und <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\sigma }}^{2}}">

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\sigma }}^{2}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/1ad9d89160c9e63c0aa4c158282cb75a894de56f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.384ex; height:2.676ex;" alt="{\displaystyle {\hat {\sigma }}^{2}}" loading="lazy"> in die log-Likelihood-Funktion eingesetzt werden. Kleinere AIC-Werte gehen mit einer besseren Modellanpassung einher. Die Anzahl der Parameter ist hier <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \mid M\mid +1}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \mid M\mid +1}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/ba82321cfd0dcbace0988f1ed385aa54486d20c6.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:7.997ex; height:2.843ex;" alt="{\displaystyle \mid M\mid +1}" loading="lazy">, da die Varianz der Störgrößen ebenfalls als ein Parameter gezählt wird. In einem <a href="Lineares_Modell" title="Lineares Modell">linearen Modell</a> mit <a href="Normalverteilung" title="Normalverteilung">normalverteilten</a> Störgrößen (<a href="Klassisches_lineares_Modell_der_Normalregression" title="Klassisches lineares Modell der Normalregression">Klassisches lineares Modell der Normalregression</a>) erhält man für die negative log-Likelihood-Funktion (für die Herleitung der log-Likelihood-Funktion, siehe <a href="Klassisches_lineares_Modell_der_Normalregression#Maximum-Likelihood-Schätzung" title="Klassisches lineares Modell der Normalregression">Maximum-Likelihood-Schätzung</a>)

<mtr>

<mtd>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

<msub>

</mrow>

</mrow>

</msub>

</mtd>

<mtd>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

<msub>

</mrow>

</mrow>

</msub>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

<mfrac>

<mrow>

</mrow>

<msub>

</mrow>

</mrow>

</msub>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msup>

</mrow>

</msup>

</mrow>

<msub>

</mrow>

</mrow>

</msub>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

</mrow>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mfrac>

</mrow>

</mtd>

</mtr>

<mtr>

<mtd>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

<mfrac>

<mrow>

</mrow>

<msub>

</mrow>

</mrow>

</msub>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

<msup>

</mrow>

</msup>

</mrow>

<msub>

</mrow>

</mrow>

</msub>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

</mrow>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mfrac>

</mrow>

</mtd>

</mtr>

<mtr>

<mtd>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

<mfrac>

<mrow>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mfrac>

</mrow>

</mtd>

</mtr>

<mtr>

<mtd>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mtd>

</mtr>

<mtr>

<mtd>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mtd>

</mtr>

</mtable>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\begin{aligned}-2\ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M})&=-2\ln(L({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M}))=n\cdot \ln(2\pi )+n\cdot \ln({\hat {\sigma }}^{2})+{\frac {(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})}{{\hat {\sigma }}^{2}}}\\&\propto n\cdot \ln({\hat {\sigma }}^{2})+{\frac {(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})}{{\hat {\sigma }}^{2}}}\\&=n\cdot \ln({\hat {\sigma }}^{2})+{\frac {n{\hat {\sigma }}^{2}}{{\hat {\sigma }}^{2}}}\\&=n\cdot \ln({\hat {\sigma }}^{2})+n\\&\propto n\cdot \ln({\hat {\sigma }}^{2})\end{aligned}}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/4a0d4718b78b706fdb4ee311cca38d295627bde5.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -12.838ex; width:105.537ex; height:26.843ex;" alt="{\displaystyle {\begin{aligned}-2\ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M})&=-2\ln(L({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M}))=n\cdot \ln(2\pi )+n\cdot \ln({\hat {\sigma }}^{2})+{\frac {(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})}{{\hat {\sigma }}^{2}}}\\&\propto n\cdot \ln({\hat {\sigma }}^{2})+{\frac {(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})}{{\hat {\sigma }}^{2}}}\\&=n\cdot \ln({\hat {\sigma }}^{2})+{\frac {n{\hat {\sigma }}^{2}}{{\hat {\sigma }}^{2}}}\\&=n\cdot \ln({\hat {\sigma }}^{2})+n\\&\propto n\cdot \ln({\hat {\sigma }}^{2})\end{aligned}}}" loading="lazy"></dd></dl>

und damit

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle AIC=n\ln({\hat {\sigma }}^{2})+2(\mid M\mid +1)}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8321423dffaa215e431202a2138490f27a0f9720.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:30.148ex; height:3.176ex;" alt="{\displaystyle AIC=n\ln({\hat {\sigma }}^{2})+2(\mid M\mid +1)}" loading="lazy">.</dd></dl>

Hierbei ist <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle n}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy"> der Stichprobenumfang und <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\sigma }}^{2}}">

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\sigma }}^{2}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/1ad9d89160c9e63c0aa4c158282cb75a894de56f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.384ex; height:2.676ex;" alt="{\displaystyle {\hat {\sigma }}^{2}}" loading="lazy"> die Varianz der Störgrößen. Die Varianz der Störgrößen <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\sigma }}^{2}}">

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\sigma }}^{2}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/1ad9d89160c9e63c0aa4c158282cb75a894de56f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.384ex; height:2.676ex;" alt="{\displaystyle {\hat {\sigma }}^{2}}" loading="lazy"> wird mittels der <a href="Residuenquadratsumme" title="Residuenquadratsumme">Residuenquadratsumme</a> aus dem Regressionsmodell geschätzt (siehe <a href="Erwartungstreue_Sch%C3%A4tzung_der_Varianz_der_St%C3%B6rgr%C3%B6%C3%9Fen" title="Erwartungstreue Schätzung der Varianz der Störgrößen">Erwartungstreue Schätzung der Varianz der Störgrößen</a>). Allerdings ist zu beachten, dass <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\sigma }}^{2}}">

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\sigma }}^{2}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/1ad9d89160c9e63c0aa4c158282cb75a894de56f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.384ex; height:2.676ex;" alt="{\displaystyle {\hat {\sigma }}^{2}}" loading="lazy"> die verzerrte (und nicht wie gewöhnlich die <a href="Erwartungstreue" title="Erwartungstreue">erwartungstreue</a>) Variante der Schätzung der Varianz der Störgrößen <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\sigma }}^{2}={\tfrac {1}{n}}{\hat {\boldsymbol {\varepsilon }}}^{\mathsf {T}}{\hat {\boldsymbol {\varepsilon }}}}">

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

<mfrac>

</mfrac>

</mstyle>

</mrow>

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\sigma }}^{2}={\tfrac {1}{n}}{\hat {\boldsymbol {\varepsilon }}}^{\mathsf {T}}{\hat {\boldsymbol {\varepsilon }}}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/547d51d8b84b336309d9ed6ae03b45e77e9c076b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:11.494ex; height:3.509ex;" alt="{\displaystyle {\hat {\sigma }}^{2}={\tfrac {1}{n}}{\hat {\boldsymbol {\varepsilon }}}^{\mathsf {T}}{\hat {\boldsymbol {\varepsilon }}}}" loading="lazy"> ist.<a href="#cite_note-5">[5]</a>

<div class="mw-heading mw-heading2"><h2 id="Bayessches_Informationskriterium">Bayessches Informationskriterium</h2></div>

Der Nachteil des Akaike-Informationskriteriums ist, dass der Strafterm von der Stichprobengröße unabhängig ist. Bei großen Stichproben sind Verbesserungen der log-Likelihood bzw. der Residualvarianz „leichter“ möglich, weshalb das Kriterium bei großen Stichproben tendenziell Modelle mit verhältnismäßig vielen Parametern vorteilhaft erscheinen lässt. Deshalb empfiehlt sich die Verwendung des durch <a href="Gideon_E._Schwarz" title="Gideon E. Schwarz">Gideon E. Schwarz</a> 1978 vorgeschlagenen bayesschen Informationskriteriums<a href="#cite_note-6">[6]</a>, auch Bayes-Informationskriterium, Bayes’sches Informationskriterium, bayesianisches Informationskriterium, oder Schwarz-Bayes-Informationskriterium (kurz: SBC) genannt (<a href="Englische_Sprache" title="Englische Sprache">englisch</a> Bayesian Information Criterion, kurz: BIC). Für ein Modell mit einem Parametervektor <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\boldsymbol {\theta }}}">

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\boldsymbol {\theta }}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/33b025a6bf54ec02e65c871dc3e5897c921419cf.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.306ex; height:2.176ex;" alt="{\displaystyle {\boldsymbol {\theta }}}" loading="lazy">, log-Likelihood-Funktion <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \ell ({\boldsymbol {\theta }})}">

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \ell ({\boldsymbol {\theta }})}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/7c36eb40e4f715790a68a8448ba93ec48a47c7af.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.085ex; height:2.843ex;" alt="{\displaystyle \ell ({\boldsymbol {\theta }})}" loading="lazy"> und dem Maximum-Likelihood-Schätzer <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\boldsymbol {\theta }}}_{ML}}">

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\boldsymbol {\theta }}}_{ML}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/7375dd2eb4aedf163578153b26d7febea0d90260.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:4.535ex; height:3.176ex;" alt="{\displaystyle {\hat {\boldsymbol {\theta }}}_{ML}}" loading="lazy"> ist das BIC definiert als<a href="#cite_note-7">[7]</a><a href="#cite_note-8">[8]</a>

<msub>

<mover>

</mover>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle BIC=-2\ell ({\hat {\boldsymbol {\theta }}}_{ML})+p\ln(n)}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8d212745b096fe9edc623e3ecee37155780a481a.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:27.626ex; height:3.343ex;" alt="{\displaystyle BIC=-2\ell ({\hat {\boldsymbol {\theta }}}_{ML})+p\ln(n)}" loading="lazy">.</dd></dl>

bzw.

<msup>

<mover>

</mover>

</mrow>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle BIC=n\ln({\hat {\sigma }}^{2})+p\ln(n)}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/75c1d8471c3126ad191c7450e6446caf5b8f1812.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:25.255ex; height:3.176ex;" alt="{\displaystyle BIC=n\ln({\hat {\sigma }}^{2})+p\ln(n)}" loading="lazy"></dd></dl>

Bei diesem Kriterium wächst der Faktor des Strafterms logarithmisch mit der Anzahl der Beobachtungen <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle n}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy">. Bereits ab acht Beobachtungen (<math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \ln 8=2{,}07944>2}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \ln 8=2{,}07944>2}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/dbf42062d36fab9164d12bcf8cd97e3466550ecc.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:18.47ex; height:2.509ex;" alt="{\displaystyle \ln 8=2{,}07944>2}" loading="lazy">) bestraft das BIC zusätzliche Parameter schärfer als das AIC. Formal ist das BIC identisch zum AIC, bloß dass der Faktor 2 durch <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \ln(n)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \ln(n)}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/b40d8af55c5679aa769abbd67a7b98612c2aeaf5.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:5.143ex; height:2.843ex;" alt="{\displaystyle \ln(n)}" loading="lazy"> ersetzt wird.

Es hat die gleiche Ausrichtung wie AIC, sodass Modelle mit kleinerem BIC bevorzugt werden.<a href="#cite_note-9">[9]</a>

Letzteres Modell wird vor allem in der Soziologie häufig verwendet. Kuha (2004) weist auf die unterschiedlichen Ziele der beiden Kenngrößen hin: Während das BIC versucht dasjenige Modell auszuwählen, das <a href="A-posteriori-Wahrscheinlichkeit" title="A-posteriori-Wahrscheinlichkeit">A-posteriori</a> die größte Plausibilität besitzt das <a href="Wahres_Modell" title="Wahres Modell">wahre Modell</a> zu sein, geht das AIC davon aus, dass es kein wahres Modell gibt.

Die Hälfte des negativen BIC wird auch als Schwarz-Kriterium bezeichnet.

<div class="mw-heading mw-heading2"><h2 id="Weitere_Informationskriterien">Weitere Informationskriterien</h2></div>

Daneben existieren weitere, seltener verwendete Informationskriterien, wie:

<ul><li>das Hannan-Quinn-Informationskriterium (<a href="Englische_Sprache" title="Englische Sprache">englisch</a> Hannan-Quinn Information Criterion kurz: HQIC), benannt nach Edward James Hannan und Barry G. Quinn (1979)</li>

<li>das <a href="Deviance_Information_Criterion" title="Deviance Information Criterion">Devianz-Informationskriterium</a> (<a href="Englische_Sprache" title="Englische Sprache">englisch</a> Deviance Information Criterion kurz: DIC), nach Spiegelhalter, Best, Carlin und van der Linde (2002)</li>

<li>Erweitertes Informationskriterium (<a href="Englische_Sprache" title="Englische Sprache">englisch</a> Extended Information Criterion, kurz: EIC) nach Ishiguro, Sakamoto, and Kitagawa (1997)</li>

<li>Fokussiertes Informationskriterium (<a href="Englische_Sprache" title="Englische Sprache">englisch</a> Focused Information Criterion, kurz: FIC) nach Wei (1992), Generalized Information Criterion, kurz: GIC nach Nishii (1984)</li>

<li>Netzwerkinformationskriterium<a href="#cite_note-10">[10]</a> (<a href="Englische_Sprache" title="Englische Sprache">englisch</a> Network Information Criterion, kurz: NIC) nach Murata, Yoshizawa und Amari (1991)</li>

<li>Takeuchi-Informationskriterium (<a href="Englische_Sprache" title="Englische Sprache">englisch</a> Takeuchi's Information Criterion, kurz: TIC) nach Takeuchi (1976)</li></ul>

Ein auf Informationskriterien basierender <a href="Statistischer_Test" title="Statistischer Test">statistischer Test</a> ist der <a href="Vuong-Test" title="Vuong-Test">Vuong-Test</a>.

<div class="mw-heading mw-heading2"><h2 id="Literatur">Literatur</h2></div>

<ul><li>Hirotsugu Akaike: Information theory and an extension of the maximum likelihood principle. In: B. N. Petrov u. a. (Hrsg.): Proceedings of the Second International Symposium on Information Theory Budapest: Akademiai Kiado 1973. S. 267–281.</li>

<li>Kenneth P. Burnham, David R. Anderson: Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. Springer-Verlag, New York 2002, ISBN 0-387-95364-7.</li>

<li>Kenneth P. Burnham/David R. Anderson (2004): Multimodel Inference: Understanding AIC and BIC in Model Selection. In: Sociological Methods and Research. Band 33, 2004, <a href="https://doi.org/10.1177/0049124104268644" class="extiw external" title="doi:10.1177/0049124104268644">doi:10.1177/0049124104268644</a>, S. 261–304.</li>

<li>Jouni Kuha (2004): AIC and BIC: Comparisons of Assumptions and Performance, in: Sociological Methods and Research. Band 33, 2004, <a href="https://doi.org/10.1177/0049124103262065" class="extiw external" title="doi:10.1177/0049124103262065">doi:10.1177/0049124103262065</a>, S. 188–229.</li>

<li><a href="Gideon_Schwarz" class="mw-redirect" title="Gideon Schwarz">Gideon Schwarz</a>: Estimating the Dimension of a Model. In: Annals of Statistics. 2, Nr. 6, 1978, <a href="https://doi.org/10.1214/aos/1176344136" class="extiw external" title="doi:10.1214/aos/1176344136">doi:10.1214/aos/1176344136</a>, <a href="JSTOR" title="JSTOR">JSTOR</a>:<a rel="nofollow" class="external text" href="http://www.jstor.org/stable/2958889">2958889</a>, S. 461–464.</li>

<li>David L. Weakliem (2004): Introduction to the Special Issue on Model Selection. In: Sociological Methods and Research, Band 33, 2004, <a href="https://doi.org/10.1177/0049124104268642" class="extiw external" title="doi:10.1177/0049124104268642">doi:10.1177/0049124104268642</a>, S. 167–187.</li></ul>

<div class="mw-heading mw-heading2"><h2 id="Einzelnachweise">Einzelnachweise</h2></div>

<li id="cite_note-1"><a href="#cite_ref-1">↑</a> <a rel="nofollow" class="external text" href="http://isi.cbs.nl/glossary/term81.htm">Akaike's information criterion.</a> Glossary of statistical terms. In: <a href="International_Statistical_Institute" title="International Statistical Institute">International Statistical Institute</a>. 1. Juni 2011, abgerufen am 4. Juli 2020 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3AInformationskriterium&rft.title=Akaike%27s+information+criterion&rft.description=Akaike%27s+information+criterion&rft.identifier=http%3A%2F%2Fisi.cbs.nl%2Fglossary%2Fterm81.htm&rft.date=2011-06-01&rft.language=en">

</li>

<li id="cite_note-2"><a href="#cite_ref-2">↑</a> <a href="Ludwig_Fahrmeir" title="Ludwig Fahrmeir">Ludwig Fahrmeir</a>, <a href="Thomas_Kneib" title="Thomas Kneib">Thomas Kneib</a>, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 664.

</li>

<li id="cite_note-3"><a href="#cite_ref-3">↑</a> Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 664.

</li>

<li id="cite_note-4"><a href="#cite_ref-4">↑</a> Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 144

</li>

<li id="cite_note-5"><a href="#cite_ref-5">↑</a> Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 148

</li>

<li id="cite_note-6"><a href="#cite_ref-6">↑</a> <a rel="nofollow" class="external text" href="http://isi.cbs.nl/glossary/term277.htm">Bayes information criterion.</a> Glossary of statistical terms. In: <a href="International_Statistical_Institute" title="International Statistical Institute">International Statistical Institute</a>. 1. Juni 2011, abgerufen am 4. Juli 2020 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3AInformationskriterium&rft.title=Bayes+information+criterion&rft.description=Bayes+information+criterion&rft.identifier=http%3A%2F%2Fisi.cbs.nl%2Fglossary%2Fterm277.htm&rft.date=2011-06-01&rft.language=en">

</li>

<li id="cite_note-7"><a href="#cite_ref-7">↑</a> Leonhard Held und Daniel Sabanés Bové: <a rel="nofollow" class="external text" href="https://www.springer.com/de/book/9783642378867">Applied Statistical Inference: Likelihood and Bayes.</a> Springer Heidelberg New York Dordrecht London (2014), ISBN 978-3-642-37886-7, S. 230.

</li>

<li id="cite_note-8"><a href="#cite_ref-8">↑</a> Ludwig Fahrmeir, <a href="Thomas_Kneib" title="Thomas Kneib">Thomas Kneib</a>, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 677.

</li>

<li id="cite_note-9"><a href="#cite_ref-9">↑</a> Leonhard Held und Daniel Sabanés Bové: <a rel="nofollow" class="external text" href="https://www.springer.com/de/book/9783642378867">Applied Statistical Inference: Likelihood and Bayes.</a> Springer Heidelberg New York Dordrecht London (2014), ISBN 978-3-642-37886-7, S. 230.

</li>

<li id="cite_note-10"><a href="#cite_ref-10">↑</a> <a href="Bastian_Popp_(Wirtschaftswissenschaftler)" title="Bastian Popp (Wirtschaftswissenschaftler)">Bastian Popp</a>: <a rel="nofollow" class="external text" href="https://books.google.de/books?id=M8shBAAAQBAJ&pg=PR19&dq=Netzwerk+Informationskriterium&hl=de&sa=X&ved=0ahUKEwiklLaPwP7kAhXE6aQKHc15C3cQ6AEIMjAB#v=onepage&q=Netzwerk%20Informationskriterium&f=false">Markenerfolg durch Brand Communities: Eine Analyse der Wirkung psychologischer Variablen auf ökonomische Erfolgsindikatoren.</a>

</li>

</ol>

<div class="mw-heading mw-heading2"><h2 id="Weblinks">Weblinks</h2></div>

<ul><li>Bernard Desgraupes: <a rel="nofollow" class="external text" href="https://cran.r-project.org/web/packages/clusterCrit/vignettes/clusterCrit.pdf">Clustering Indices.</a> (PDF) <a href="Universit%C3%A4t_Paris-Nanterre" title="Universität Paris-Nanterre">Universität Paris-Nanterre</a>, März 2013; abgerufen am 26. Juni 2016 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3AInformationskriterium&rft.title=Clustering+Indices&rft.description=Clustering+Indices&rft.identifier=https%3A%2F%2Fcran.r-project.org%2Fweb%2Fpackages%2FclusterCrit%2Fvignettes%2FclusterCrit.pdf&rft.creator=Bernard+Desgraupes&rft.publisher=%5B%5BUniversit%C3%A4t+Paris-Nanterre%5D%5D&rft.date=2013-03&rft.language=en"> </li></ul></div><div><div class="zim-footer">

Dieser Artikel wurde von <a class="external text" title="Zuletzt bearbeitet am 2025-09-12" href="https://de.wikipedia.org/wiki/?title=Informationskriterium&oldid=259677707">Wikipedia</a> herausgegeben. Der Text ist unter <a class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.de">Creative Commons Attribution-Share Alike 4.0</a> verfügbar, sofern nicht anders angegeben. Für die Mediendateien können zusätzliche Bedingungen gelten.

</div>

</div></div>

</div>

</main>

</div>

</body></html>